AMEL: Accumulated Message Effects on LLM Judgments
累积消息效应对LLM评判的偏见（AMEL）
🧭 LLM评估中的上下文累积偏见 ★ 深度解读
LLM在作为评估器时，多轮对话历史中的评价极性会系统性地偏移后续判断，尤其放大不确定项的偏差。
📌 工作参考价值（4 点）
- 每条评估用全新上下文：在电商内容审核、商品描述质量评分、推荐理由评估等LLM-as-judge场景中，请每次调用单独开启一个conversation，避免历史评价的累积。成本上升，但淘汰风险更高。
- 批量评估必须随机化且平衡：若因成本需批处理，务必随机打乱item顺序，并保持正负样本比例接近。禁止按预期结果排序，否则会产生自我强化的位置漂移（实验中固定顺序导致P(no)从0.07单调升至1.0）。
- 对不确定项单独处理：模型基准预测熵高的item（如 borderline 商品是否违规）是AMEL重灾区（d=-0.34）。可依据logprobs或多次采样区分这些项，优先分配新鲜上下文，或结合logprobs校正（如RBCorr）来抵消偏移。
- 监控线上评估的接受/拒绝比率漂移：若一个会话中比率持续偏离预期，很可能已受累计历史影响，触发告警或重置上下文。